TRACE-ROUTER: Task-Consistent and Adaptive Online Routing for Agentic AI
TRACE-ROUTER: 面向Agentic AI的任务一致自适应在线路由
🧭 Agent任务级自适应路由
Georgia Institute of Technology · Intel · Texas A&M University
用任务级上下文Bandit路由替代请求级路由，通过延迟奖励统一优化Agent工作流的准确率与延迟。
📌 工作参考价值（4 点）
- Agent任务内固定模型池：对电商客服、搜索推荐Agent等多步工具调用场景，可在任务入口用上下文Bandit选择一个LLM，整个任务会话固定使用该模型，避免每步独立路由带来的反馈归因偏差。
- 利用任务级延迟奖励在线学习：直接使用最终的任务成功/失败和总延迟作为奖励信号，无需预估单步复杂度，工程实现简单，适合线上持续优化路由策略。
- Bandit策略可迁移：若业务中已有Agent工作流和模型池，可将现有逐请求路由器替换为任务级Bandit，只需在任务结束时收集终端奖励，即可用LinUCB等标准方法更新策略，降低试错成本。
- 平衡成本与效果：在预算受限的推荐Agent中（如商品咨询、比价），可自动将复杂任务路由到大模型，简单任务用小模型，在不牺牲最终准确率的前提下显著降低延迟和推理成本。